Beliau bermula sebagai pemain amatur dengan kelab Queen's Park, yang mana beliau membuat kemunculan pertama sebagai penyerang pada usia 16 tahun. Menyifatkan perlawanan pertamanya sebagai 'mimpi ngeri', bagaimanapun beliau menjaringkan gol tunggal kelabnya dalam kekalahan 2-1 kepada Stranraer.

Walaupun berjaya menjaringkan 20 gol daripada 31 penampilannya bersama Queen's Park, Ferguson gagal memecah masuk ke kesebelasan utama dan kemudiannya berhijrah ke St. Johnstone pada 1960. Walaupun beliau meneruskan rentak jaringan bersama St. Johnstone, beliau masih gagal memasuki kesebelasan utama dan menyebabkannya kerap kali memohon untuk berpindah kelab. Walaupun nyata beliau bukan pilihan utama di kelab tersebut, kegagalan St. Johnstone mendapatkan penyerang baru memaksa pengurus pasukan meletakkan Ferguson dalam perlawanan menentang Rangers, yang mana beliau menjaringkan hatrik untuk mengejutkan Rangers. Pada musim panas seterusnya, Ferguson berhijrah ke Dunfermline, dan menjadi pemain profesional sepenuh masa.

Musim 1964-65,, Dunfermline menjadi pencabar utama dalam Liga Scotland dan mara ke perlawanan akhir Piala Scotland, namun Ferguson digugurkan daripada bermain di final setelah prestasi buruk menentang St. Johnstone pada perlawanan liga sebelumnya. Dunfermline tewas 3-2 dalam aksi final kepada Celtic, dan mereka juga gagal memenangi liga dengan perbezaan hanya satu mata.

Musim 1965-66, Ferguson menjaringkan 45 gol daripada 51 perlawanan buat Dunfermline dan bersama-sama pemain Celtic, Joe McBride, dia menjadi penjaring terbanyak liga ketika itu dengan 31 gol.

Pada tahun 1967, Ferguson menyertai Rangers dengan yuran perpindahan yang pada ketika itu memecah rekod Scotland, £65,000. Beliau kemudiannya dipersalahkan selepas Rangers dibolosi gol pada final Piala Scotland 1969, dan beliau dipaksa bermain bersama-sama pasukan junior kelab. Menurut abangnya, Ferguson berasa amat berang dengan peristiwa itu dan membuang pingat naib juara yang diperolehinya. Malah, beliau juga dikatakan didiskriminasi di Rangers setelah perkahwinannya dengan Cathy, yang bermazhab Katolik. Namun Ferguson kemudiannya menulis dalam autobiografinya yang menyatakan bahawa Rangers mengetahui tentang mazhab yang dianuti isterinya semasa beliau menyertai kelab tersebut, dan Ferguson meninggalkan kelab itu dengan rasa berat hati berikutan konflik yang terjadi semasa final Piala Scotland tersebut.

Oktober seterusnya, Ferguson menerima tawaran daripada Nottingham Forest di England untuk menyertai pasukan itu, namun Cathy enggan berpindah ke England pada ketika itu. Ferguson menyertai Falkirk kemudiannya, dan diberi tugas sebagai pemain merangkap jurulatih. Namun apabila John Prentice menjadi pengurus pasukan, beliau menyingkirkan tugas Ferguson selaku jurulatih. Sebagai langkah tindak balas, Ferguson memohon perpindahan ke Ayr United, di mana beliau menamatkan kariernya pada 1974.